目录

1 什么是对象跟踪和GOTURN

2 在OpenCV中使用GOTURN

3 GOTURN优缺点

4 参考

在这篇文章中，我们将学习一种基于深度学习的目标跟踪算法GOTURN。GOTURN在Caffe中搭建，现在已移植到OpenCV Tracking API，我们将使用此API在C ++和Python中使用GOTURN。

对象跟踪的目标是跟踪视频序列中的对象。使用视频序列的帧和边界框初始化跟踪算法，以获得我们感兴趣的对象的位置。跟踪算法输出所有后续帧的边界框。有关对象跟踪的更多详细信息，请查看我们关于OpenCV目标跟踪API的帖子。

https://blog.csdn.net/LuohenYJ/article/details/89029816

GOTURN是Generic Object Tracking Using Regression Networks的缩写，是一种基于深度学习的跟踪算法。

大多数跟踪算法都以在线方式进行训练。换句话说，跟踪算法学习在运行时不停获取被跟踪对象的特点。因此，许多实时跟踪器依赖于在线学习算法，这些算法通常比基于深度学习的解决方案快得多。GOTURN通过以离线方式学习对象的运动，改变了我们将深度学习应用于跟踪问题的方式。GOTURN模型在数千个视频序列上进行训练，不需要在运行时进行任何学习。

GOTURN主要论文见：

http://davheld.github.io/GOTURN/GOTURN.pdf

如上图所示GOTURN将两个裁剪帧作为输入，并输出第二帧中对象周围的边界框。在第一帧（也称为前一帧）中对象的位置是已知的，裁剪前一帧并且被裁剪帧大小为对象边界框的两倍大小。第一个裁剪框中的对象始终居中。用于裁剪第一帧的边界框也用于裁剪第二帧中对象的位置（也称为当前帧）。由于对象可能已移动，因此对象不在第二帧中居中。训练卷积神经网络（CNN）以预测第二帧中边界框的位置。

下图所示为GOTURN的架构。如前所述，它需要两个裁剪框作为输入。请注意，底部为前一帧，上面为第二帧（当前帧）。我们的目标就是在当前帧画出目标的边界框。

两个帧都通过一组卷积层。即CaffeNet架构的前五个卷积层。这些卷积层的输出被连接成长度为4096的单个矢量。输出层的节点有四个，表示预测框的左上角顶点坐标和右下角顶点坐标。

作者发布了GOTURN的caffe模型。您可以使用Caffe尝试，但在本教程中，我们将使用OpenCV的跟踪API。步骤如下:

1）下载GOTURN模型文件

GOTURN的模型文件见：https://github.com/spmallick/goturn-files

需要下载的是GOTURN的caffemodel and prototxt文件。约370 MB。

2）把caffemodel和prototxt文件放到和函数调用文件cpp/py文件同一个目录下，文件名必须为goturn.caffemodel和goturn.prototxt，模型下载下来不用改名字就行了。

3）代码实现，类似其他OpenCV调用模块，OpenCV版本3.4.3以上

依然是创建跟踪函数模型，更新函数模型。当跟踪器失败时，tracker.update返回0（false）。如果我们将跟踪器与检测器一起使用，则可以使用此信息。当跟踪器发生故障时，检测器可用于检测对象并重新初始化跟踪器。

代码下载地址：

https://github.com/luohenyueji/OpenCV-Practical-Exercise

代码如下：

C++: